Są przypuszczenia, że parafia w Rychwałdzie istniała już w 1335 r., jednakże dane historyczne mówią o roku 1472 jako dacie jej powstania. Pierwszy kościół, fundowany przez właściciela Ziemi Żywieckiej, Mikołaja Komorowskiego, był drewniany. Konsekrował go biskup krakowski Erazm Ciołek w 1547 r.

W r. 1644 r. właścicielka Ślemienia, Katarzyna z Komorowskich Grudzińska, darowała do kościoła rychwałdzkiego obraz Matki Bożej, który początkowo umieszczono w bocznym ołtarzu. Biskup krakowski Mikołaj Oborski dekretem ogłosił obraz jako cudowny i polecił szerzyć jego kult. Dnia 22 października 1678 r. obraz przeniesiono do głównego ołtarza.